我们引入基于实例自适应学习的视频压缩算法。在要传输的每个视频序列上，我们介绍了预训练的压缩模型。最佳参数与潜在代码一起发送到接收器。通过熵编码在合适的混合模型下的参数更新，我们确保可以有效地编码网络参数。该实例自适应压缩算法对于基础模型的选择是不可知的，并且具有改进任何神经视频编解码器的可能性。在UVG，HEVC和XIPH数据集上，我们的CODEC通过21％至26％的BD速率节省，提高了低延迟尺度空间流量模型的性能，以及最先进的B帧模型17至20％的BD速率储蓄。我们还证明了实例 - 自适应FineTuning改善了域移位的鲁棒性。最后，我们的方法降低了压缩模型的容量要求。我们表明它即使在将网络大小减少72％之后也能实现最先进的性能。
translated by 谷歌翻译
The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning.We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.
translated by 谷歌翻译
We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.
translated by 谷歌翻译
Standard imitation learning can fail when the expert demonstrators have different sensory inputs than the imitating agent. This is because partial observability gives rise to hidden confounders in the causal graph. We break down the space of confounded imitation learning problems and identify three settings with different data requirements in which the correct imitation policy can be identified. We then introduce an algorithm for deconfounded imitation learning, which trains an inference model jointly with a latent-conditional policy. At test time, the agent alternates between updating its belief over the latent and acting under the belief. We show in theory and practice that this algorithm converges to the correct interventional policy, solves the confounding issue, and can under certain assumptions achieve an asymptotically optimal imitation performance.
translated by 谷歌翻译
有良好的因果建模框架，但是这些框架需要许多人类领域的专业知识来定义因果变量并执行干预措施。为了使自主代理通过互动经验学习抽象的因果模型，需要扩展和澄清现有的理论基础。现有框架没有关于可变选择 /表示形式的指导，更重要的是，没有迹象表明国家空间的行为政策或物理转换不得将其视为干预措施。本文中概述的框架将动作描述为状态空间的转换，例如由运行策略的代理引起的。这使得以统一的方式描述了微型状态空间的转换及其抽象模型，并说后者何时是垂直 /接地 /自然的。然后，我们介绍（因果）变量，将机制定义为不变的预测因子，并说何时可以将动作视为``手术干预''，从而将因果关系和干预技能学习的目标带入了更清晰的焦点。
translated by 谷歌翻译
因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
事实证明，与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上，包括翻译，旋转，缩放，节点排列和仪表变换。迄今为止，没有现有的体系结构与所有这些转换都不相同。在本文中，我们提出了一个基于注意力的网格数据的架构，该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用：一种简单，有效，等效性的替代品，可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实，我们提出的架构在这些基准测试中的性能提高了，并且确实是对各种本地/全球转换的均等，因此具有强大的功能。
translated by 谷歌翻译
从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。
translated by 谷歌翻译
我们提出了一种压缩具有隐式神经表示的全分辨率视频序列的方法。每个帧表示为映射坐标位置到像素值的神经网络。我们使用单独的隐式网络来调制坐标输入，从而实现帧之间的有效运动补偿。与一个小的残余网络一起，这允许我们有效地相对于前一帧压缩p帧。通过使用学习的整数量化存储网络权重，我们进一步降低了比特率。我们呼叫隐式像素流（IPF）的方法，提供了几种超简化的既定神经视频编解码器：它不需要接收器可以访问预先磨普的神经网络，不使用昂贵的内插基翘曲操作，而不是需要单独的培训数据集。我们展示了神经隐式压缩对图像和视频数据的可行性。
translated by 谷歌翻译